通俗讲解平方损失函数平方形式的数学解释？

还是郭江师兄在第一次机器学习会上，给我们讲解的相关线性模型知识，这里进行总结平方损失函数平方的推导记录一下，欢迎大家交流指错~

1由线性模型引出平方损失函数

假设有一个房屋销售的数据如下：

我们将上面数据可视化如下（大致说明数据分布特点）：

那么，我们来了一个新的面积，需要预测它对应的房屋价格应该怎么办呢？

我们可以用一条曲线尽量准的拟合这些数据，如果有新的输入数据过来，我们就可以将曲线上该面积对应的价格返回。如果用一条直线拟合，可能是下面这个图像：

恩，上图的红线就是我们想要得到的直线（线性模型）。

线性回归假设特征和结果满足线性关系。 其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以有前面的参数体现，一般化线性模型，我们是有多个变量的线性模型。我们用向量形式来表达线性模型，如下：

那么我们可以求出不同的，来得到不同的模型。

这样的话，问题来了，我们如何知道每一个模型的好坏，也就是说，我们需要一个机制来判断我们的是好是坏！

这就引出了我们的损失函数，如下：

我们通过最小化损失函数得到的，就是我们觉得最优的，也就是我们认为此时的模型（知道了参数也就确定了我们的模型）最优（这里也很好理解，这个公式尽可能使得我们预测出来的值与真实的值无限逼近！！）

那么损失函数为什么是平方形式呢？如果只是表达模型预测出来的值与真实值无限逼近，三次方，四次方，哪怕绝对值形式也是可以的，如下这些：

为什么是平方形式呢？不要急，这也是下面要解释的内容。

2 损失函数采取平方形式的数学解释

假设根据特征的预测结果与实际结果有误差，那么预测结果真实结果满足下式：

一般在实际应用中，我们的训练数据都是海量的，根据中心极限定理，我们可以假定误差满足平均值u为0的正态分布。

那么x，y的条件概率满足如下：

上式相当于估计了一条样本的结果概率，根据极大似然估计（后面会写一篇文章详细介绍）我们希望在给定的训练数据中，给定的训练数据出现的概率（可能性）最大，也就是概率积最大！累积形式如下：

取对数如下：

这时我们想 函数值最大，这些训练数据的误差方差我们假设是一个定值（数据趋于无穷大的时候，均值与方差都是可以看成定值），也就是对求似然估计没有影响。

那么我们此时想要使得最大，只需要将最小化即可!（因为除了该项其它各项都是定值！）如下面公式是定值：

这也就是我们损失函数采取平方形式的数学解释！欢迎大家指错交流~

参考：JerryLead机器学习笔记

线性回归损失函数为什么要用平方形式 - saltriver的专栏 - 博客频道 - CSDN.NET（博主采取用求偏导，假定方差越小越好，这也是一种思路）

致谢：郭江师兄

推荐文章阅读：

近期文章预告：

《详解贝叶斯分类以及代码实现》

《详解增强学习MDP过程》

《换个角度谈线性代数相关基础》

版权所有，转载请联系作者获得授权！

开通了[自然语言处理与机器学习]公众号，记录自己在cs,ml,nlp中的学习所得，不保证是很难得知识，但一定是我理解的干货，欢迎按住下面二维码扫描关注！